通用网络爬虫的实现原理是什么

通用网络爬虫的实现原理：

1. 获取初始的URL。初始的URL地址可以人为地指定，也可以由用户指定的某个或某几个初始爬取网页决定。

2. 根据初始的URL爬取页面并获得新的URL。获得初始的URL地址之后，先爬取当前URL地址中的网页信息，然后解析网页信息内容，将网页存储到原始数据库中，并且在当前获得的网页信息里发现新的URL地址，存放于一个URL队列里面。

3. 将新的URL放到URL队列中，获取下一个新的URL地址之后，会将新的URL地址放到URL队列中。

4. 从URL队列中读取新的URL，从而获得新的网页信息，同时在新网页中获取新URL，并重复上述的爬取过程。

5. 满足爬虫系统设置的停止条件时，停止爬取。在编写爬虫的时候，一般会设置相应的停止条件，爬虫则会在停止条件满足时停止爬取。如果没有设置停止条件，爬虫就会一直爬取下去，一直到无法获取新的URL地址为止。

通用网络爬虫的特点有：

• 由于商业原因，引擎的算法是不会对外公布的。

• 这类网络爬虫的爬取范围和数量巨大，对于爬取速度和存储空间要求较高，爬取页面的顺序要求相对较低。

• 待刷新的页面太多，通常采用并行工作方式，但需要较长时间才能刷新一次页面。

• 存在一定缺陷，通用网络爬虫适用于为搜索引擎搜索广泛的需求。